Advancing SVD-based LLM Compression via Layer-Wise Error Model Search
推进基于SVD的LLM压缩：逐层误差模型搜索
🧭 LLM 低秩压缩与层级误差建模
Technical University of Munich · BMW Group · University of Glasgow · TU Wien
提出LEMS与KFAC-SVD，分别解决SVD压缩中rank分配不精确和分解rank崩溃的问题
📌 工作参考价值（4 点）
- 在部署LLM用于推荐/query生成时，SVD压缩可大幅降低推理成本，但rank分配不能简单全局均匀：LEMS用逐层误差代理+ILP全局优化，能更好地保留关键层容量，值得借鉴到生成式推荐的backbone压缩。
- KFAC-SVD利用token-wise统计替代Fisher信息估计，缓解rank collapse，提高了分解质量；若业务中需要对嵌入层或Transformer层做低秩近似，可优先考虑类似token级统计修正。
- 层间误差传播的建模思路可迁移到多任务资源分配：在电商多目标排序模型中，不同层的敏感度不同，可仿照传播偏置做层级算力/参数预算分配。
- 工程实现上，ILP求解rank分配虽然复杂，但离线一次性完成，对在线推理无额外开销；适合用固定压缩比部署LLM生成商品描述、搜索词润色等场景。